超越因果掩码：审计与定位自适应序列模型中的隐藏未来token泄漏
🧭 自回归模型因果性审计与泄漏定位
School of Artificial Intelligence, Guilin University of Electronic Technology · Department of Electrical Engineering, University of Chile
揭示自适应路由解码器中全序列summary造成未来token泄漏，提出审计与定位方法并修复验证
📌 工作参考价值（4 点）
- 在电商/推荐场景使用 LLM 或生成式推荐模型时，若架构中包含序列级 pooling、动态路由、summary broadcast、时间卷积等模块，即使 attention mask 正确，也可能引入未来 token 泄漏。应建立 prefix-invariance 审计流程，加入训练回归测试。
- 评估生成式推荐或 Agent 策略模型时，不要只看 teacher-forced loss 的下降。必须补充自由运行生成评估（如参考模型 perplexity、生成质量指标），防止隐藏泄漏造成虚假架构收益。
- 可复用 LeakScore（最大前缀输出差异）作为轻量诊断工具，在每次架构改动或新 checkpoint 上线前检测跨位置信息泄漏；尤其适合 MoE routing、自适应残差连接等动态路径。
- 工程实现中，动态路由的 query 路径应只使用 prefix-only 统计量，避免广播全序列 summary；对 KV cache 在不同数值精度下的一致性也要纳入检查，防止类似泄漏。
MemoryAthena：潜在记忆与生成记忆的自适应路由
🧭 记忆增强 LLM · 检索与生成记忆自适应路由
ELLIS Institute of Finland · University of Turku · University of Technology Sydney · University of Science and Technology of China · Shanghai Jiao Tong University
冻结骨干下训练轻量因果路由头，以 Engram 检索为锚对生成记忆做有界插值干预，QA/NLP 多任务平均提升
📌 工作参考价值（4 点）
- 在 RAG / 记忆增强推荐或 Agent 系统中，可把直接检索结果作为 anchor，生成式候选只做有界插值；当路由判断收益为负或不显著时回退到检索结果。这种“拒绝即恢复 baseline”的设计适合线上安全上线，避免生成内容污染原始记忆。
- 冻结大模型主干，仅训练轻量因果路由头，用反事实未来 token 似然优势作为监督信号。业务上可对用户/商品记忆的多路候选（如 item embedding、LLM 生成的用户兴趣 summary、序列隐状态）训练一个小 router 决定选用或融合，无需微调主模型。
- GE 和 GH 的分离值得借鉴：一路从检索到的线索生成，一路直接从模型 contextual state 生成。推荐场景可分别对应“基于召回的候选生成”与“基于用户序列隐状态的候选生成”，并让 router 在两者之间选择或插值。
- 论文中的 oracle 互补分析提示：多路记忆虽然真实路由头不能完全释放上限，但可离线构造 gold-label oracle 评估各路潜在价值，再决定是否投入训练更复杂的 router。
UniMoMo：基于专家合并的推荐大模型 MoE 加速
🧭 MoE 压缩加速推荐模型
Kuaishou Technology · Hohai University · Wuhan University · ByteDance · Alibaba (Ant Group)
用无标签校准集度量专家功能相似性，结合路由曝光保护高频专家，将训练后推荐 MoE 压缩为小 MoE 并保持 NDCG
📌 工作参考价值（4 点）
- 若业务推荐模型已采用 MoE，可借鉴 UniMoMo 做不同 serving budget 的模型档位：用同一训练后 checkpoint 压缩出 2/4/8 等专家版本，线上按延迟或吞吐切换，避免为每个档位重新训练。
- 压缩时不要只看参数距离，可复用无标签校准集（用户交互序列/候选商品）比较专家在相同输入上的输出相似度，做功能聚类合并；这比 L2 权重距离更贴近推荐行为，能降低合并带来的排序损失。
- 引入 layer-adaptive protection：按 routing exposure（专家被路由的概率/流量占比）识别高频专家，限制其参与合并。电商推荐中头部流量专家通常承担关键用户群，保护它们能有效控制 NDCG 回退，尤其适合流量分布高度倾斜的场景。
- 该方法不增加线上压缩专用模块，最终导出标准 MoE，可直接替换现有推理服务；在 A100 上可取得 1.28×–2.21× 加速，适合广告/推荐精排阶段降低推理成本。